Predicting Alignment Generalization with Value Representations
用价值表示预测对齐泛化
🧭 LLM对齐泛化预测 · 价值表示
Carnegie Mellon University · Mila - Quebec AI Institute · McGill University · ETH Zurich · University of British Columbia
建立对齐泛化预测任务，激活表示比文本描述更准（ρ=0.45 vs 0.05），并构建首个经验价值分类
📌 工作参考价值（4 点）
- 电商/广告场景下，通过 RLHF/DPO 对齐业务目标（如用户满意度、多样性）时，可构建类似“对齐泛化矩阵”：对每个业务指标微调小模型，测量对其他指标的行为影响，用激活表示预测目标间冲突，提前识别相互干扰。
- 该方法用模型在应用特定策略/价值观时的隐层激活作为 embedding，比直接用文本描述效果好得多（ρ=0.45 vs 0.05）。在 Agent 或多任务推荐模型中，可采集策略提示下的激活构建“业务目标向量”，用于度量策略相似性、辅助多目标权重设计。
- 论文发现多价值对齐目标中价值相似度与模型鲁棒性显著相关。实际可借鉴该指标评估多业务指标组合的冲突程度，避免训练目标过窄导致线上行为漂移。
- 跨模型共享价值空间的初步证据支持构建统一目标表示：如召回、粗排、精排等多个模型协同的推荐系统，可用相同“业务价值向量”对齐不同模型的行为，提升整体一致性。注意预测精度仍有限（ρ=0.45），适合作为粗筛或辅助决策工具。